Solar Open 2 Technical Report
Solar Open 2：250B-A15B MoE长上下文Agent模型
🧭 大规模长上下文Agent模型训练
Upstage
通过混合注意力与多专家蒸馏，以1/6参数量达到1.6T模型韩文办公Agent水平
📌 工作参考价值（4 点）
- 混合注意力降显存：每三个线性注意力层插一个softmax层、取消位置编码来实现1M token上下文窗口，在长轨迹Agent或对话系统中可大幅降低KV缓存开销，适合电商客服、端到端推荐流等需要处理超长历史序列的场景。
- 多教师在线策略蒸馏（MOPD）：先训练12个垂直域专家，再用在线蒸馏合并为单一模型，可复用于电商搜索推荐中的多任务学习（例如同时蒸馏意图识别、商品理解、对话规划等专家），避免维护多个专用模型。
- 数据价值策展：质量与稀有度感知的筛选、混合比例优化使10T数据优于原20T数据，在同等算力下提升效率。可借鉴到构建领域特定预训练语料（如电商搜索日志、商品描述），用更少token达到更好任务性能。
- 参数骨架迁移预训练：从上一代模型继承共享参数骨架（5.69B），其余从头预训练，既保留了原有知识又适配新架构。在推荐模型升级（如从稠密模型转MoE）时可大幅节省再训练成本，快速获得强初始点。